Amazon Kinesis Data Firehose に Coralogix統合機能が追加されたのでためしてみた

いわさ

2022.04.21

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

いわさです。

Kinesis Data Firehoseでは様々なサードパーティ製品との統合機能が提供されています。
先日Coralogixとの統合機能が追加されたので、本日はその試した内容をご紹介出来ればと思います。

Coralogix と AWS

Coralogixについて軽く触れると、ログやメトリック、ストリーミングデータの分析プラットフォームです。
AWSに限らず様々なサービスのログやメトリクスを集めて一元管理と分析が出来るようになります。

Streama©という独自データパイプラインを使って、データのリアルタイム分析を可能にしています。
従来まではAWSとの間でデータを連携するためには提供されているCloudFormationテンプレートを使ってLambda関数などをデプロイし、サービス間連携を行う必要がありました。

今回の統合機能によって、連携インターフェースをKinesis Data Firehoseが吸収してくれるので、送信先の情報をいくつか入力するだけで、すぐに AWS からデータのログやメトリクスの連携が出来るようになります。

Kinesis Data Firehoseの設定

送信先にCoralogixが選択出来るようになっています。

HTTP endpoint URL は Coralogixアカウントのリージョンに合わせて選択する必要があります。
Private KeyはCoralogixログイン後の設定画面から取得出来ます。

AWS - Coralogix間の基本設定はこれだけ良いです。

送信

どういうデータ形式でも送信出来るわけではないです。送信する際のデータフォーマットが決まっています。
データインターフェース仕様は以下のようになっています。

{
  "privateKey": "",
  "applicationName": "*insert desired application name*",
  "subsystemName": "*insert desired subsystem name*",
  "computerName": "*insert computer name*",
  "logEntries": [
    {
      "timestamp": 1457827957703.342,
      "severity": 4,
      "text": "Encountered an error while registering the user john123",
      "category": "DAL",
      "className": "UserManager",
      "methodName": "RegisterUser",
      "threadId": "a-352"
    },
    {
      "timestamp": 1457827957703.342,
      "severity": 3,
      "text": "{\"key1\":\"val1\",\"key2\":\"val2\",\"key3\":\"val3\",\"key4\":\"val4\"}",
      "category": "DAL",
      "className": "UserManager",
      "methodName": "RegisterUser",
      "threadId": "a-352"
    }
  ]
}

logEntriesの各要素がKinesis Data Firehoseで送信するユーザーデータのイメージです。
Json形式で、かつtimestamp(UNIX時間:ミリ秒), severity(重大度), textが必須になっています。
また、severityは以下のように種別を数値で指定します。

1 – Debug, 2 – Verbose, 3 – Info, 4 – Warn, 5 – Error, 6 – Critical

Firehoseでは上記ハイライト部分以外をうまく吸収してくれているようなので、put-recordを使う場合は以下のようになります。

$ aws firehose put-record --delivery-stream-name hoge-iwasa-coralogix --record '{"Data":"{\"timestamp\":1650435343814.343,\"severity\":1,\"text\":\"hoge debug\"}"}' --cli-binary-format raw-in-base64-out
{
    "RecordId": "e/Ul7yKnDQfkDry8o4iN5luY7+7V5JGORDTgbxCqMEzvHJrXDIhIFZAe76cStxs5Vl63eA4gQiWLHh3wC5U5MywuCCSr1t5uPilJbvjcYEtvz3XlCBsxVqqeCeMc3Ho4DHUhWH4jfkX+h80x2x3Fz8erk2ZcN25bKyp0iB+rsBoaKTj9zQP1uEUbT2OL3KMt8BFp7We/IJTY0mod1uN/B6C10IWYj42G",
    "Encrypted": false
}

エラー例

ちなみに、上記のフォーマットに則ってない場合はKinesis Data Firehoseの失敗ログに以下のメッセージが出力されます。

Delivery to the endpoint was unsuccessful. See Troubleshooting HTTP Endpoints in the Firehose documentation for more information. Response received with status code. 413: {"requestId":"03fd2411-583f-4b55-b52c-83311b7e2695","timestamp":1650265040579,"errorMessage":"Failed on log validation"}